Các viên Toàn quyền của Pháo đài William cư trú tại Belvedere Estate, Calcutta, cho đến đầu thế kỷ XIX, khi Toà nhà Chính phủ được xây dựng. Năm 1854, Thống đốc của Bengal đến cư trú tại Belvedere House, khi Toàn quyền chuyển đến toà nhà mới xây. Ngày nay, Belvedere House trở thành Thư viện Quốc gia Ấn Độ.

Toàn quyền Lãnh chúa Wellesley, tác giả của câu nói "Ấn Độ nên được quản lý từ một cung điện, chứ không phải từ một ngôi nhà ở nông thôn", chính ông đã cho xây dựng một dinh thự lớn, được gọi là Toà nhà Chính phủ ở Calcutta, từ năm 1799 đến 1833. Dinh thự vẫn được sử dụng cho đến khi thủ đô chuyển từ Calcutta đến Delhi vào năm 1912. Sau đó dinh thự này trở thành nơi cư trú của Thống đốc Bengal, người trước đó cư trú tại Belvedere House. Từ đó nó trở thành dinh thự của Thống đốc bang Tây Bengal của Ấn Độ, và được gọi tên bằng tiếng Bengal là Raj Bhavan.

Sau khi thủ đô chuyển từ Calcutta đến Delhi, dinh thự của Phó vương được tiến hành xây dựng, do Edwin Lutyens thiết kế. Mặc dù việc xây dựng bắt đầu vào năm 1912, nhưng đến tận 1929 vẫn chưa kết thúc, đến năm 1931 mới được khánh thành. Chi phí xây dựng vượt qua con số 877.000 bảng Anh (hơn 35.000.000 bảng nếu tính theo thời giá hiện tại) - nhiều hơn gấp đôi so với hoạch toán ban đầu. Ngày nay, dinh thự này được biết đến với tên bằng tiếng Hindi - Rashtrapati.